Xưa kia làng Thổ Hoàng bao gồm bảy xóm quây quần theo điển tích "Thất tinh quần tụ" 2. Đó là: Xóm Dường, Đình, Dộc, Cạo, Đá, Chùa, Lươn, và xóm Mụ. Tương truyền nhiều nho sinh các nơi đã từng đến dừng chân ở Thổ Hoàng để củng cố kiến thức trước khi đỗ đạt ở những khoá thi Hương, thi Hội như: Tiến sĩ Nguyễn Lệ ở Bình Hồ, Tiến sĩ Lê Trọng Thứ ở Duyên Hà (cha của nhà bác học Lê Quý Đôn). Sau khi đỗ đạt, mến cảnh, mến người vùng đất này, cụ Lê Trọng Thứ đã cho con trai mình là Lê Quý Thái, em ruột nhà bác học Lê Quý Đôn về Thổ Hoàng sinh cơ lập nghiệp và lập ra xóm Vườn Hồng, là xóm thứ tám của làng Thổ Hoàng. Cụ Lê Quý Thái cũng là cụ tổ của dòng họ Lê Quý ở đây3

Thành hoàng làng

Thành hoàng làng Thổ Hoàng là cụ Bùi Công Hộ, một tướng của Dạ Trạch vương Triệu Quang Phục đã có công lao trong cuộc kháng chiến chống quân xâm lược nhà Lương. Hiện nay làng còn giữ được bảy đạo sắc phong của các Triều đại nhà Lê, nhà Nguyễn và một bài thơ ca ngợi thần của Tiến sĩ Nguyễn Trung Ngạn (thời nhà Trần). Nguyên văn bài thơ ấy như sau:"Độc mộc phù Vương dị;Thiên kim mãi chúa nam;Nhất xoang trung dữ nghĩa;Cổ hậu trọng như san"